最近,对卷积神经网络(CNNS)的注意机制越来越令人兴趣,以解决计算机视觉任务。大多数这些方法学会了解明确地识别和突出场景的相关部分并将参与图像传递给网络的其他层。在本文中,我们认为这种方法可能不是最佳的。可以说,明确地学习图像的哪些部分是相关的,通常比学习图像的图像较小的哪些部分更难,因此应该忽略。事实上,在视觉域中,存在许多易于识别的无关功能模式。例如,接近边界的图像区域不太可能包含分类任务的有用信息。基于这个想法,我们建议在CNNS中重构注意力机制,以学会忽略而不是学习参加。具体而言,我们建议明确地学习场景中的无关信息,并在产生的表示中抑制它,只保留重要属性。这种隐式关注方案可以纳入任何现有的注意机制。在这项工作中,我们使用最近的两个注意方法挤压和激励(SE)块和卷积块注意模块(CBAM)来验证这个想法。不同数据集和模型架构上的实验结果表明,学习忽略,即隐含的注意力,与标准方法相比,产生卓越的性能。
translated by 谷歌翻译